Skip to content

Docs: la profundidad de la cola de muertos no es la medida; la completitud si - #1162

Merged
github-actions[bot] merged 1 commit into
developfrom
docs/dlq-la-profundidad-no-es-la-medida
Nov 8, 2026
Merged

github-actions[bot] merged 1 commit into
developfrom
docs/dlq-la-profundidad-no-es-la-medida

Conversation

@frapercan

Copy link
Copy Markdown
Owner

Por que

protea.dead-letter tiene 18.816 mensajes. Lo vi de paso comprobando otra cosa, y la primera lectura que se le ocurre a cualquiera, incluida la mia, es "se ha perdido trabajo". Mirar la cola no puede decir eso, ni para bien ni para mal, y esta seccion dice cual es la medida que si lo dice.

Lo que dice la cola

Por GET /v1/admin/dlq/summary, que no consume: de los primeros 500 inspeccionados, 496 son compute_embeddings_batch venidos de protea.embeddings.batch con edad de una semana, y 4 son job_dispatch de hace un mes. Ninguno de esos numeros dice si falta un vector.

Lo que si lo dice

Completitud por configuracion, cuatro cuentas por indice:

d4b4c057  learned-code:mean:sfjepa-world-holes-topk:cut227:e7ba37da  684.048
34446081  learned-code:mean:sfjepa-world-holes-topk:cut211:e7ba37da  684.048
e7ba37da  ankh_base                                                 684.048
f3a7fe16  Ankh-base, longitud completa, media+maximo                683.887

684.048 no es un numero suelto: es la poblacion entera de secuencias, 629.895 con una sola accesion mas 54.153 compartidas. Tres de las cuatro estan completas, y a la cuarta le faltan exactamente las 161 que pasan de 8.259 residuos, que tienen su propio arreglo en #1161.

Asi que esos 18.816 son copias de lotes que SI entraron, con toda probabilidad del relanzamiento con skip_existing despues de las tres pasadas de compute_embeddings del 28 y 29 de octubre que fallaron o se cancelaron con el contador casi a cero.

La conclusion, del lado que importa

No es "la cola estaba bien". Es que la cola se ve igual en los dos casos:

un error de base manda el lote a muertos mientras su job sigue RUNNING sin error, y el contador del padre puede avanzar con una reentrega, asi que un job puede reportar bien sobre trabajo que nunca aterrizo.

Solo la cuenta de filas contra la poblacion los distingue. Por eso la seccion va antes de Symptoms: es lo primero que hay que hacer, no lo ultimo.

Y dos limites del resumen

Dichos para que nadie lo lea de mas: la edad es un bucket, asi que 1w no separa el 11-01 del 11-05, y el endpoint inspecciona una muestra y no los 18.816. Ninguno de los dos cambia la conclusion, y ninguno merece inspeccionar la cola entera.

Purgar sigue siendo una decision aparte y de Francisco.

La idea de medirlo por completitud en vez de por la cola es de la sesion del sobremesa.

…titud si

La cola de muertos tiene 18.816 mensajes, y mirarla no dice si se perdio
trabajo. Esta seccion dice cual es la medida que si lo dice, con la de hoy
hecha.

De los primeros 500 inspeccionados, 496 son compute_embeddings_batch venidos de
protea.embeddings.batch con edad de una semana, y 4 son job_dispatch de hace un
mes. Ninguno de esos numeros dice nada sobre si falta un vector.

Lo que lo dice es la completitud por configuracion, que son cuatro cuentas por
indice: tres de las cuatro configuraciones con filas estan completas a 684.048,
que es la poblacion entera de secuencias, y la cuarta le falta exactamente las
161 que pasan de 8.259 residuos y tienen su propio arreglo. Asi que esos 18.816
son copias de lotes que SI entraron, con toda probabilidad del relanzamiento con
skip_existing despues de las tres pasadas de finales de octubre que fallaron o
se cancelaron con el contador casi a cero.

La conclusion va escrita del lado que importa, que es el contrario: un error de
base manda el lote a muertos mientras su job sigue RUNNING sin error, y el
contador del padre puede avanzar con una reentrega, asi que un job puede
reportar bien sobre trabajo que nunca aterrizo. La profundidad de la cola se ve
igual en los dos casos y solo la cuenta de filas contra la poblacion los
distingue.

Con los dos limites del resumen dichos, para que nadie lo lea de mas: la edad es
un bucket, asi que 1w no separa el 11-01 del 11-05, y el endpoint inspecciona
una muestra. Ninguno de los dos cambia la conclusion.

La idea de medirlo por completitud en vez de por la cola es de la sesion del
sobremesa.
@github-actions
github-actions Bot enabled auto-merge (squash) November 8, 2026 12:31
@codecov

codecov Bot commented Nov 8, 2026

Copy link
Copy Markdown

Codecov Report

✅ All modified and coverable lines are covered by tests.
✅ Project coverage is 88.09%. Comparing base (d8bc801) to head (1da6b77).
⚠️ Report is 259 commits behind head on develop.

Additional details and impacted files

Impacted file tree graph

@@             Coverage Diff             @@
##           develop    #1162      +/-   ##
===========================================
+ Coverage    87.85%   88.09%   +0.24%     
===========================================
  Files          306      402      +96     
  Lines        23414    31179    +7765     
===========================================
+ Hits         20570    27467    +6897     
- Misses        2844     3712     +868     

see 165 files with indirect coverage changes

🚀 New features to boost your workflow:
  • ❄️ Test Analytics: Detect flaky tests, report on failures, and find test suite problems.
  • 📦 JS Bundle Analysis: Save yourself from yourself by tracking and limiting bundle sizes in JS merges.

@github-actions
github-actions Bot merged commit 1447cb5 into develop Nov 8, 2026
19 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant